我们提出了神经特征融合场（N3F），当将后者应用于分析多个图像作为3D场景时，可改善密集的2D图像特征提取器的方法。给定图像功能提取器，例如使用自学的预训练，N3F使用它作为老师来学习在3D空间中定义的学生网络。 3D学生网络类似于蒸馏所述功能的神经辐射领域，可以使用通常的可区分渲染机械进行培训。结果，N3F很容易适用于大多数神经渲染制剂，包括香草Nerf及其扩展到复杂的动态场景。我们表明，我们的方法不仅可以在不使用手动标签的情况下在场景特定的神经领域的上下文中实现语义理解，而且还可以始终如一地改善自我监督的2D基线。通过考虑各种任务，例如2D对象检索，3D细分和场景编辑，包括各种序列，包括史诗般的基金斯基准中的长期以上的视频，可以证明这一点。
translated by 谷歌翻译
自我监督的视觉表示学习最近引起了重大的研究兴趣。虽然一种评估自我监督表示的常见方法是通过转移到各种下游任务，但我们研究了衡量其可解释性的问题，即了解原始表示中编码的语义。我们将后者提出为估计表示和手动标记概念空间之间的相互信息。为了量化这一点，我们介绍了一个解码瓶颈：必须通过简单的预测变量捕获信息，将概念映射到表示空间中的簇。我们称之为反向线性探测的方法为表示表示的语义敏感。该措施还能够检测出表示何时包含概念的组合（例如“红色苹果”），而不仅仅是单个属性（独立的“红色”和“苹果”）。最后，我们建议使用监督分类器自动标记大型数据集，以丰富用于探测的概念的空间。我们使用我们的方法来评估大量的自我监督表示形式，通过解释性对它们进行排名，并通过线性探针与标准评估相比出现的差异，并讨论了一些定性的见解。代码为：{\ Scriptsize {\ url {https://github.com/iro-cp/ssl-qrp}}}}}。
translated by 谷歌翻译
最近有一个浪涌的方法，旨在以无监督的方式分解和分段场景，即无监督的多对象分段。执行此类任务是计算机愿景的长期目标，提供解锁对象级推理，而无需致密的注释来列车分段模型。尽管取得了重大进展，但在视觉上简单的场景上开发和培训了当前的模型，描绘了纯背景上的单色物体。然而，自然界在视觉上复杂，与多样化的纹理和复杂的照明效果等混杂方面。在这项研究中，我们展示了一个名为Clevrtex的新基准，设计为比较，评估和分析算法的下一个挑战。 CLEVRTEX采用具有不同形状，纹理和光映射材料的合成场景，采用物理基于渲染技术创建。它包括图50k示例，描绘了在背景上布置的3-10个对象，使用60材料的目录创建，以及使用25种不同材料创建的10k图像的另一测试集。我们在CLEVRTEX上基准最近近期无监督的多对象分段模型，并找到所有最先进的方法无法在纹理环境中学习良好的陈述，尽管在更简单的数据上表现令人印象深刻。我们还创建了Clevrtex DataSet的变体，控制了场景复杂性的不同方面，并探讨了各个缺点的当前方法。数据集和代码可在https://www.robots.ox.ac.uk/~vgg/research/clevrtex中获得。
translated by 谷歌翻译
自我监督的视觉表现学习的目标是学习强大，可转让的图像表示，其中大多数研究专注于物体或场景水平。另一方面，在部分级别的代表学习得到了显着的关注。在本文中，我们向对象部分发现和分割提出了一个无人监督的方法，并进行三个贡献。首先，我们通过一系列目标构建一个代理任务，鼓励模型将图像的有意义分解成其部件。其次，先前的工作争辩地用于重建或聚类预先计算的功能作为代理的代理;我们凭经验展示了这一点，这种情况不太可能找到有意义的部分;主要是因为它们的低分辨率和分类网络到空间涂抹信息的趋势。我们建议像素水平的图像重建可以缓解这个问题，充当互补的提示。最后，我们表明基于Keypoint回归的标准评估与分割质量不符合良好，因此引入不同的指标，NMI和ARI，更好地表征对象的分解成零件。我们的方法产生了一致的细粒度但视觉上不同的类别的语义部分，优于三个基准数据集的现有技术。代码可在项目页面上找到：https://www.robots.ox.ac.uk/~vgg/research/unsup-parts/
translated by 谷歌翻译
我们大多数人不是特定领域的专家，例如鸟类学。尽管如此，我们确实有一般的图像和语言理解，我们用来匹配我们所看到的专家资源。这使我们能够扩展我们的知识并在没有临时外部监督的情况下执行新的任务。相反，除非培训专门考虑到这一知识，否则机器更加难以咨询专家策划知识库。因此，在本文中，我们考虑了一个新问题：没有专家注释的细粒度的图像识别，我们通过利用Web百科全书中提供的广泛知识来解决这些问题。首先，我们学习模型来描述使用非专家图像描述来描述对象的视觉外观。然后，我们培训一个细粒度的文本相似性模型，它与句子级别的文件描述匹配。我们在两个数据集上评估该方法，并与跨模型检索的几个强大的基线和最先进的技术相比。代码可用：https://github.com/subhc/clever
translated by 谷歌翻译
This paper addresses the problem of estimating the depth map of a scene given a single RGB image. We propose a fully convolutional architecture, encompassing residual learning, to model the ambiguous mapping between monocular images and depth maps. In order to improve the output resolution, we present a novel way to efficiently learn feature map up-sampling within the network. For optimization, we introduce the reverse Huber loss that is particularly suited for the task at hand and driven by the value distributions commonly present in depth maps. Our model is composed of a single architecture that is trained end-to-end and does not rely on post-processing techniques, such as CRFs or other additional refinement steps. As a result, it runs in real-time on images or videos. In the evaluation, we show that the proposed model contains fewer parameters and requires fewer training data than the current state of the art, while outperforming all approaches on depth estimation. Code and models are publicly available 5 .
translated by 谷歌翻译
背景：基于学习的深度颈部淋巴结水平（HN_LNL）自动纤维与放射疗法研究和临床治疗计划具有很高的相关性，但在学术文献中仍被研究过。方法：使用35个规划CTS的专家划分的队列用于培训NNU-NEN 3D FULLES/2D-ENEBLEN模型，用于自动分片20不同的HN_LNL。验证是在独立的测试集（n = 20）中进行的。在一项完全盲目的评估中，3位临床专家在与专家创建的轮廓的正面比较中对深度学习自动分类的质量进行了评价。对于10个病例的亚组，将观察者内的变异性与深度学习自动分量性能进行了比较。研究了Autocontour与CT片平面方向的一致性对几何精度和专家评级的影响。结果：与专家创建的轮廓相比，对CT SLICE平面调整的深度学习分割的平均盲目专家评级明显好得多（81.0 vs. 79.6，p <0.001），但没有切片平面的深度学习段的评分明显差。专家创建的轮廓（77.2 vs. 79.6，p <0.001）。深度学习分割的几何准确性与观察者内变异性（平均骰子，0.78 vs. 0.77，p = 0.064）的几何准确性无关，并且在提高水平之间的准确性方面差异（p <0.001）。与CT切片平面方向一致性的临床意义未由几何精度指标（骰子，0.78 vs. 0.78 vs. 0.78，p = 0.572）结论：我们表明可以将NNU-NENE-NET 3D-FULLRES/2D-ENEMELBEND用于HN_LNL高度准确的自动限制仅使用有限的培训数据集，该数据集非常适合在研究环境中在HN_LNL的大规模标准化自动限制。几何准确度指标只是盲人专家评级的不完善的替代品。
translated by 谷歌翻译